Pronunciation variants across system configuration, language and speaking style

This contribution aims at evaluating the use of pronunciation variants for di erent recognition system con gurations, languages and speaking styles. This study is limited to the use of variants during speech alignment, given an orthographic transcription of the utterance and a phonemically represented lexicon, and is thus focused on the modeling capabilities of the acoustic word models. To measure the need for variants we have de ned the variant2+ rate which is the percentage of words in the corpus not aligned with the most commonphonemic transcription. This measure may be indicative of the possible need for pronunciation variants in the recognition system. Pronunciation lexica have been automatically created so as to include a large number of variants (overgeneration). In particular, lexica with parallel and sequential variants were automatically generated in order to assess the spectral and temporal modeling accuracy. We rst investigated the dependence of the aligned variants on the recognizer con guration. Then a cross-lingual study was carried out for read speech in French and American English using the BREF and the WSJ corpora. A comparison between read and spontaneous speech was made for French based on alignments of BREF (read) and Mask (spontaneous) data. Comparative alignment results using di erent acoustic model sets demonstrate the dependency between the acoustic model accuracy and the need for pronunciation variants. The alignment results obtained with the above lexica have been used to study the link between word frequencies and variants using di erent acoustic model sets. Cette contribution vise a evaluer l'utilisation des variantes de prononciation pour di erentes congurations de syst eme, di erentes langues et di erents types d' elocution. Cette etude se limite a l'utilisation de variantes pendant l'alignement automatique de la parole etant donn ee une transcription orthographique correcte et un lexique de prononciation. Nous focalisons ainsi notre etude sur la capacit e des mod eles acoustique des mots a rendre compte du signal observ e. Pour evaluer le besoin de variantes nous avons d e ni le taux de variant2+ qui correspond au pourcentage de mots du corpus qui ne sont pas align es avec la meilleure transcription phon emique. Ce taux peut être consid er e comme indicatif d'un eventuel besoin de variantes de prononciation dans le syst eme de reconnaissance. Di erents lexiques de prononciation ont et e cr e es automatiquement g en erant di erents types et quantit es de variantes (avec surg en eration). En particulier des lexiques avec des variantes parall eles et s equentielles ont et e distingu es a n d' evaluer la pr ecision de la mod elisation spectrale et temporelle. 5 Dans une premi ere etape nous avons montr e le lien entre le besoin de variantes de prononciation et la qualit e des mod eles acoustiques. Nous avons ensuite compar e di erents ph enom enes de variantes pour l'anglais et le fran cais sur des grands corpus de parole lue (WSJ et BREF). Une comparaison entre parole spontan ee et parole lue est pr esent ee. Cette etude montre que le besoin de variantes diminue avec la pr ecision des mod eles acoustiques. Pour le fran cais, elle permet de r ev eler l'importance des variantes s equentielles, en particulier du e-muet.